Năm 1998, Ansip đã được bầu làm Thị trưởng thành phố Tartu là một ứng cử viên của Reformierakond ôn hòa cánh hữu (Đảng cải cách), một vị trí mà ông nắm giữ cho đến năm 2004, và được dân chúng sự ca ngợi và xếp hạng rất cao trong các cuộc thăm dò dư luận dân chúng. Ông đã chạy trong các cuộc bầu cử trước đây vào Riigikogu, Quốc hội Estonia, nhưng đã luôn luôn phải từ bỏ chức dân biểu của mình để duy trì ghế thị trưởng. Người kế vị chức thị trưởng của ông là một đảng viên Đảng Cải cách Laine Jänes.